Vision-Language Pre-Training (VLP) has shown promising capabilities to align image and text pairs, facilitating a broad variety of cross-modal learning tasks. However, we observe that VLP models often lack the visual grounding/localization capability which is critical for many downstream tasks such as visual reasoning. In this work, we propose a novel Position-guided Text Prompt (PTP) paradigm to enhance the visual grounding ability of cross-modal models trained with VLP. Specifically, in the VLP phase, PTP divides the image into $N\times N$ blocks, and identifies the objects in each block through the widely used object detector in VLP. It then reformulates the visual grounding task into a fill-in-the-blank problem given a PTP by encouraging the model to predict the objects in the given blocks or regress the blocks of a given object, e.g. filling `P" or ``O" in aPTP ``The block P has a O". This mechanism improves the visual grounding capability of VLP models and thus helps them better handle various downstream tasks. By introducing PTP into several state-of-the-art VLP frameworks, we observe consistently significant improvements across representative cross-modal learning model architectures and several benchmarks, e.g. zero-shot Flickr30K Retrieval (+4.8 in average recall@1) for ViLT \cite{vilt} baseline, and COCO Captioning (+5.3 in CIDEr) for SOTA BLIP \cite{blip} baseline. Moreover, PTP achieves comparable results with object-detector based methods, and much faster inference speed since PTP discards its object detector for inference while the later cannot. Our code and pre-trained weight will be released at \url{https://github.com/sail-sg/ptp}.

Finetuning language models on a collection of datasets phrased as instructions has been shown to improve model performance and generalization to unseen tasks. In this paper we explore instruction finetuning with a particular focus on (1) scaling the number of tasks, (2) scaling the model size, and (3) finetuning on chain-of-thought data. We find that instruction finetuning with the above aspects dramatically improves performance on a variety of model classes (PaLM, T5, U-PaLM), prompting setups (zero-shot, few-shot, CoT), and evaluation benchmarks (MMLU, BBH, TyDiQA, MGSM, open-ended generation). For instance, Flan-PaLM 540B instruction-finetuned on 1.8K tasks outperforms PALM 540B by a large margin (+9.4% on average). Flan-PaLM 540B achieves state-of-the-art performance on several benchmarks, such as 75.2% on five-shot MMLU. We also publicly release Flan-T5 checkpoints, which achieve strong few-shot performance even compared to much larger models, such as PaLM 62B. Overall, instruction finetuning is a general method for improving the performance and usability of pretrained language models.

当应用于自动驾驶汽车设置时，行动识别可以帮助丰富环境模型对世界的理解并改善未来行动的计划。为了改善自动驾驶汽车决策，我们在这项工作中提出了一种新型的两阶段在线行动识别系统，称为RADAC。RADAC提出了主动剂检测的问题，并在直接的两阶段管道中以进行动作检测和分类的直接识别人类活动识别中的参与者关系的想法。我们表明，我们提出的计划可以胜过ICCV2021 ROAD挑战数据集上的基线，并通过将其部署在真实的车辆平台上，我们演示了对环境中代理行动的高阶理解如何可以改善对真实自动驾驶汽车的决策。

我们解决了在室内环境中对于具有有限感应功能和有效载荷/功率限制的微型航空车的高效3-D勘探问题。我们开发了一个室内探索框架，该框架利用学习来预测看不见的区域的占用，提取语义特征，样本观点，以预测不同探索目标的信息收益以及计划的信息轨迹，以实现安全和智能的探索。在模拟和实际环境中进行的广泛实验表明，就结构化室内环境中的总路径长度而言，所提出的方法的表现优于最先进的勘探框架，并且在勘探过程中的成功率更高。

已经提出了需要树木，以模拟在开放域的文本问题答案的背景下进行解释产生的人类推理过程。但是，实际上，手动构建这些解释树是一个艰苦的过程，需要积极的人类参与。鉴于捕获从问题到答案的推理线的复杂性，或者从索赔中捕获了前提，因此出现了如何帮助用户有效地构建多个级别的树木，并给定大量可用事实。在本文中，我们将需要树的构造作为一系列主动的前提选择步骤，即，对于说明树中的每个中间节点，专家需要注释大型候选人列表中的前提事实的正面和负面示例。然后，我们迭代地进行精细 - 训练前训练的变压器模型，并产生了正面和紧密控制的负面样本，并旨在平衡语义关系和解释性的关系关系的编码。实验评估证实了拟议的主动精细研究方法的可测量效率提高，以促进累积树的构建：与几种替代方案相比，解释性前提选择的提高了20 \％。

心血管疾病（CVD）是全球死亡的第一大原因。尽管有越来越多的证据表明心房颤动（AF）与各种CVD有着密切的关联，但这种心律不齐通常是使用心电图（ECG）诊断的，这是一种无风险，无侵入性和具有成本效益的工具。在任何威胁生命的疾病/疾病发展之前，不断和远程监视受试者的心电图信息迅速诊断和及时对AF进行预处理的潜力。最终，可以降低CVD相关的死亡率。在此手稿中，展示了体现可穿戴心电图设备，移动应用程序和后端服务器的个性化医疗系统的设计和实施。该系统不断监视用户的心电图信息，以提供个性化的健康警告/反馈。用户能够通过该系统与他们的配对健康顾问进行远程诊断，干预措施等。已经评估了实施的可穿戴ECG设备，并显示出极好的一致性（CVRMS = 5.5％），可接受的一致性（CVRMS = CVRMS = CVRMS = 12.1％），可忽略不计的RR间隙错误（<1.4％）。为了提高可穿戴设备的电池寿命，提出了使用ECG信号的准周期特征来实现压缩的有损压缩模式。与公认的架构相比，它在压缩效率和失真方面优于其他模式，并在MIT-BIH数据库中以ECG信号的某个PRD或RMSE达到了至少2倍的Cr。为了在拟议系统中实现自动化AF诊断/筛查，开发了基于重新系统的AF检测器。对于2017年Physionet CINC挑战的ECG记录，该AF探测器获得了平均测试F1 = 85.10％和最佳测试F1 = 87.31％，表现优于最先进。

边缘计算是加速机器学习算法支持移动设备的流行目标，而无需通信潜伏在云中处理它们。机器学习的边缘部署主要考虑传统问题，例如其安装的交换约束（尺寸，重量和功率）。但是，考虑到体现能量和碳的重要贡献，这种指标不足以考虑计算的环境影响。在本文中，我们探讨了用于推理和在线培训的卷积神经网络加速引擎的权衡。特别是，我们探讨了内存处理（PIM）方法，移动GPU加速器以及最近发布的FPGA的使用，并将它们与新颖的赛车记忆PIM进行比较。用赛车记忆PIM替换支持PIM的DDR3可以恢复其体现的能量，以至于1年。对于高活动比，与支持PIM的赛车记忆相比，移动GPU可以更可持续，但具有更高的体现能量可以克服。

通常通过过去的选择来告知机器学习中的评估，例如要使用哪些数据集或指标。该标准化可以使用排行榜对平等基础进行比较，但是随着出现更好的替代方案，评估选择变得不佳。这个问题在自然语言生成中尤其相关，该语言需要不断改善的数据集，指标和人类评估以提出确定性的主张。为了使遵循最佳模型评估实践更加容易，我们介绍了GEMV2。新版本的一代，评估和指标基准为数据集，模型和指标开发人员提供了模块化基础架构，以使彼此受益。GEMV2支持40种记录的数据集中51种语言。所有数据集的模型都可以在线评估，我们的交互式数据卡创建和渲染工具使得在Living Benchmark中添加新数据集变得更加容易。

语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。

我们研究了复杂几何物体的机器人堆叠问题。我们提出了一个挑战和多样化的这些物体，这些物体被精心设计，以便要求超出简单的“拾取”解决方案之外的策略。我们的方法是加强学习（RL）方法与基于视觉的互动政策蒸馏和模拟到现实转移相结合。我们的学习政策可以有效地处理现实世界中的多个对象组合，并展示各种各样的堆叠技能。在一个大型的实验研究中，我们调查在模拟中学习这种基于视觉的基于视觉的代理的选择，以及对真实机器人的最佳转移产生了什么影响。然后，我们利用这些策略收集的数据并通过离线RL改善它们。我们工作的视频和博客文章作为补充材料提供。